Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
驾驭激活波：分析 LLM 隐藏状态信息与几何以支持推测解码
🧭 LLM 推理加速 · 推测解码层选择
Qualcomm AI Research · Stanford University
提出基于矩阵熵与 CKA 的 LLM 多隐藏层选择框架，在 EAGLE3 推测解码中优于固定层选择
📌 工作参考价值（4 点）
- 在 EAGLE3 类推测解码中不要盲用 [2, N//2, N-3] 等固定层，可用矩阵熵（informativeness）+ CKA（diversity）选择低冗余、高信息层，改善 draft 模型质量与加速比。
- token-entropy filtering 可过滤低预测熵 token 后再计算层选择统计，避免高频简单 token（如电商搜索中的常见 query、模板化文案）污染层重要性评估。
- CKA 跨层相似度分析能定位 decoder 中的几何/信息 compartment，帮助工程上决定哪些层适合共享、蒸馏或做 KV cache 优化。
- 对于用 LLM 做实时生成式推荐、搜索词/广告文案生成的业务，选择 hidden states 子集而非全部层，可在不显著掉质量的情况下减少 draft 模型输入维度，节省推理成本。